Problema Cientifico¶
En los años de la pandemia, en los Estados Unidos de América, el comportamiento del uso de tarjetas de crédito ha variado bastante. El promedio de la deuda de tarjeta de crédito creció en 52% entre el 2020 y el 2019, sin embargo, este porcentaje ha caído significativamente en el 2020 (ValuePenguin) (Household Debt and Credit Report, NewYorkFed). Este proyecto pretende utilizar conceptos y metodos de Data Science para predecir que tipo de clientes tienden a caer en impago basandose en los datos disponibles en el archivo UCI_Credit_Card.
Objetivos¶
Generales:
- Identificar a los tipos de clientes que pueden caer en impago
Especificos:
- Identificar que variable(s) tienen el mayor impacto en las deudas de tarjeta de credito
- Desarrollar modelos vistos en clase y predicciones sobre los clientes con deuda de tarjeta de credito
- Identificar a que se debe el comportamiento que demuestran los porcentajes de deuda en los ultimos años
Analisis Exploratorio Preliminar¶
Descripcion del dataset como estaba:
Hay 25 variables (22 cuantitativas, 3 categoricas):
- ID: ID de cada cliente
- LIMIT_BAL: cantidad del crédito otorgado en dólares NT (incluye crédito individual y familiar / suplementario
- SEX: Género (1 = masculino, 2 = femenino)
- EDUCATION: (1 = estudios de posgrado, 2 = universidad, 3 = bachillerato, 4 = otros, 5 =desconocidos, 6 = desconocidos)
- MARRIAGE: Estado civil (1 = casado, 2 = soltero, 3 = otros)
- AGE: Edad en años
- PAY_0: Estado de reembolso en septiembre de 2005 (-1 = pago debidamente, 1 = retrasoen el pago durante un mes, 2 = retraso en el pago durante dos meses,... 8 = retraso en elpago durante ocho meses, 9 = retraso en el pago durante nueve meses o más)
- PAY_2: Estado de reembolso en agosto de 2005 (escala igual a la anterior)
- PAY_3: Estado de reembolso en julio de 2005 (escala igual a la anterior)
- PAY_4: Estado de reembolso en junio de 2005 (escala igual a la anterior)
- PAY_5: Estado de reembolso en mayo de 2005 (escala igual a la anterior)
- PAY_6: Estado de reembolso en abril de 2005 (escala igual a la anterior)
- BILL_AMT1: Monto de la factura en septiembre de 2005 (dólar NT)
- BILL_AMT2: Monto de la factura en agosto de 2005 (dólar NT)
- BILL_AMT3: Monto de la factura en julio de 2005 (dólar NT)
- BILL_AMT4: Monto de la factura en junio de 2005 (dólar NT)
- BILL_AMT5: Monto de la factura en mayo de 2005 (dólar NT)
- BILL_AMT6: Monto de la factura en abril de 2005 (dólar NT)
- PAY_AMT1: Monto del pago anterior en septiembre de 2005 (dólar NT)
- PAY_AMT2: Monto del pago anterior en agosto de 2005 (dólar NT)
- PAY_AMT3: Monto del pago anterior en julio de 2005 (dólar NT)
- PAY_AMT4: Monto del pago anterior en junio de 2005 (dólar NT)
- PAY_AMT5: Monto del pago anterior en mayo de 2005 (dólar NT)
- PAY_AMT6: Monto del pago anterior en abril de 2005 (dólar NT)
- default.payment.next.month: incumplimiento de pago al mes siguiente (1 = sí, 0 = no)
In [118]:
import pandas as pd
import numpy as np
from pandas_profiling import ProfileReport
import seaborn as sn
import matplotlib.pyplot as plt
from quickda.clean_data import *
from quickda.explore_data import *
from quickda.clean_data import *
In [119]:
df = pd.read_csv("UCI_Credit_Card.csv")
df.head()
Out[119]:
In [120]:
explore(df, method="summarize")
Out[120]:
In [121]:
profile = ProfileReport(df, minimal=True)
profile
Out[121]:
Limpieza¶
Estandarizar nombres de columnas¶
In [122]:
df = clean(df, method = "standardize")
df.head()
Out[122]:
Cambiar a tipo categorica las variables adecuadas¶
In [123]:
to_categoric = ["sex", "education", "marriage",
"pay_0", "pay_2","pay_3", "pay_4", "pay_5","pay_6"]
In [124]:
df = clean(df, method = 'dtypes', columns = to_categoric,
dtype='category')
In [125]:
df = df.rename(columns = {'pay_0': 'pay_1',}, inplace = False)
Revision de cambios¶
In [126]:
explore(df, method="summarize")
Out[126]:
Eliminando columna de Id¶
In [147]:
df = clean(df, method = 'dropcols', columns = ['id'])
Cambiando a solo un valor desconocido los valores 0,5,6 de educacion¶
In [148]:
df = clean(df, method = "replaceval",
columns = ["education"],
to_replace = [0,5,6],
value = 5)
Cambiando el valor 0 a 3 (otros) en marrige¶
In [149]:
df = clean(df, method = "replaceval",
columns = ["marriage"],
to_replace = [0],
value = 3)
Aclaracion sobre los valores -2 y 0 de las columans pay¶
Estos valores si tienen un significato en el dataset con respecto a la realizacion de los pagos por lo que no se pueden modificar a nulo.
In [150]:
correlation = df.corr()
plt.figure(figsize = (13, 10))
sn.heatmap(correlation, annot=True)
plt.show()
Obtener columna de bill_amt con valores promediados¶
In [209]:
dfSimp = df
In [210]:
promedio = (dfSimp["bill_amt1"]+dfSimp["bill_amt2"]+dfSimp["bill_amt3"]
+dfSimp["bill_amt4"]+dfSimp["bill_amt5"]+dfSimp["bill_amt6"])/6
dfSimp["prom_bill_amt"] = promedio
In [211]:
dfSimp = clean(dfSimp, method = 'dropcols', columns = ['bill_amt1',"bill_amt2","bill_amt3","bill_amt4","bill_amt5","bill_amt6"])
Cambiando de orden columnas¶
In [212]:
cols = ['limit_bal', 'sex','education','marriage','age','pay_1','pay_2','pay_3',
'pay_4','pay_5','pay_6','prom_bill_amt','pay_amt1','pay_amt2','pay_amt3','pay_amt4','pay_amt5',
'pay_amt6','default.payment.next.month']
In [213]:
dfSimp = dfSimp[cols]
Analizar nuevo dataset¶
In [136]:
correlation = dfSimp.corr()
plt.figure(figsize = (13, 10))
sn.heatmap(correlation, annot=True)
plt.show()
In [137]:
explore(dfSimp, method="summarize")
Out[137]:
Representacion visual de datos cuantitativos¶
In [97]:
#Creacion de graficas para visualizar cada columna del dataset
dfSimp.hist(figsize=(30, 25))
Out[97]:
Visualizacion datos categoricos¶
In [98]:
dfSimp['education'].value_counts().plot(kind='bar', title = "Educacion")
Out[98]:
In [99]:
dfSimp['marriage'].value_counts().plot(kind='bar', title = "Estado civil")
Out[99]:
In [100]:
dfSimp['sex'].value_counts().plot(kind='bar', title = "Sexo")
Out[100]:
Cruce de variables¶
In [101]:
pd.crosstab(dfSimp.age, dfSimp['default.payment.next.month']).plot(kind="bar",figsize=(15,6), title = "Analisis de pago por edad")
plt.xlabel('Edad')
plt.xticks(rotation=0)
plt.legend(["Pago", "Impago"])
plt.show()
In [25]:
pd.crosstab(dfSimp.sex, dfSimp['default.payment.next.month']).plot(kind="bar",figsize=(15,6), title = "Analisis de pago por sexo")
plt.xlabel('Genero')
plt.xticks(rotation=0)
plt.legend(["Pago", "Impago"])
plt.show()
In [26]:
pd.crosstab(dfSimp.education, dfSimp['default.payment.next.month']).plot(kind="bar",figsize=(15,6), title = "Analisis de pago por educacion")
plt.xlabel('Educacion')
plt.xticks(rotation=0)
plt.legend(["Pago", "Impago"])
plt.show()
In [27]:
pd.crosstab(dfSimp.marriage, dfSimp['default.payment.next.month']).plot(kind="bar",figsize=(15,6),title = "Analisis de pago por estado civil")
plt.xlabel('Estado Civil')
plt.xticks(rotation=0)
plt.legend(["Pago", "Impago"])
plt.show()
Correlacion¶
In [28]:
correlation = dfSimp.corr()
In [29]:
plt.figure(figsize=(8, 12))
heatmap = sn.heatmap(correlation.corr()[['default.payment.next.month']].sort_values(by='default.payment.next.month', ascending=False), vmin=-1, vmax=1, annot=True, cmap='BrBG')
heatmap.set_title('Correlacion de variables con default.payment.next.month', fontdict={'fontsize':18}, pad=16);
Datos Atipicos¶
In [214]:
dfSimp = clean(dfSimp, method='outliers', columns=["pay_amt1","pay_amt2","pay_amt3","pay_amt4"])
In [215]:
#Creacion de graficas para visualizar cada columna del dataset
dfSimp.hist(figsize=(30, 25))
Out[215]:
In [216]:
explore(dfSimp, method="summarize")
Out[216]: